Data Lakehouse in Azure Synapse Analytics von Christopher Münch
Vom 11. bis 14. Oktober fanden die „
SQLdays
2021“ in Erding statt.
Video zum Vortrag von Christopher Münch mit dem Titel "Data Lakehouse in Azure Synapse Analytics" anlässlich der SQLdays 2021.
Data Lakes haben über die letzten Jahre besonders im Big Data Bereich viel an Beliebtheit und Bedeutung gewonnen.
Mit Hilfe von Tools, wie Apache Spark, können so sehr große Datenmengen schnell und einfach verarbeitet und analysiert
werden. Zwar können ETL-Prozesse durch die Verwendung von Apache Spark beschleunigt werden, allerdings fehlt einem
Data Lake an sich das, was die meisten relationalen Datenbank-Systeme ausmacht und mit denen sich erst Data Warehouses
verwirklichen lassen: ACID-Transaktionen. Diese sind die Grundlage, um beispielsweise Star-Schemas oder Slowly
Changing Dimensions effektiv verwenden zu können. Doch auch hier hat sich insbesondere über das letzte Jahr viel
getan – mit der Veröffentlichung von Delta Lake als Open Source Projekt ist es nun möglich, ACID-Transaktionen
kinderleicht auf einem Delta Lake durchführen zu können. Damit lassen sich klassische Data-Warehouse Modelle auf
einem Data Lake aufbauen – geboren war das Data Lakehouse. In diesem Vortrag schauen wir uns an, wie wir uns ein
Data Lakehouse mit Apache Spark und Delta Lake in Azure Synapse Analytics zusammenstellen können. Anschließend werden
wir dieses mit Synapse Serverless SQL Pool und Power PI ganz einfach abfragen.
Auf unserem Video-Portal studios.ppedv.de findet man eine breite Basis an Informationen rund um das Thema IT.
Die Schwerpunkte bilden dabei nicht nur Microsoft-Technologien. Themen wie Visual Studio, .net, C++, C#, Angular JS und viele mehr werden von unseren professionellen Trainern detailliert erklärt.